Năm 1974, Scorpions thế hệ thứ hai đã cho ra đời album Fly to the Rainbow. Album thứ hai đạt được nhiều thành công hơn album Lonesome Crow, và những bài hát như "Speedy's Coming" và những bài khác đã hình thành nên vị trí vững chắc cho dòng nhạc của ban nhạc. Sau khi hoàn tất việc thu âm, Achim Kirschning quyết định rời khỏi ban nhạc. Chẳng bao lâu sau, Jürgen Rosenthal cũng rời Scorpions để thực hiện nghĩa vụ quân sự (sau đó năm 1976 anh đã tham gia vào Eloy, một ban nhạc progressive rock ở Đức và đã thu ba album với ban nhạc này). Sau khi anh ra đi, một tay trống người Bỉ, Rudy Lenners được mời vào lấp vị trí trống.

Năm 1975, Scorpions đã tiến một bước dài với sự ra đời của album In Trance. Album này đánh dấu sự hợp tác lâu dài giữa ban nhạc với nhà sản xuất người Đức, Dieter Dierks. Với bước tiến mạnh mẽ này, Scorpions đã khẳng định vị trí vững chắc của mình trong làng hard rock, và thu hút được một lượng lớn người hâm mộ, cả trong nước lẫn ngoài nước.

Năm 1976, ban nhạc phát hành album Virgin Killer. Bìa album là hình khỏa thân của một cô gái tuổi xuân thì được che lại bởi những mảnh kính vỡ, được thiết kế bởi RCA Records[22]. Bìa album đã tạo nên một sự chỉ trích lớn, và hầu như bị thay thế hoặc hủy bỏ ở một số quốc gia. Trái ngược với những cuộc tranh cãi về bìa album này, album vẫn được giới phê bình và người hâm mộ đánh giá rất cao. Một năm sau đó Rudy Lenners phải rời ban nhạc vì lý do sức khỏe và Herman Rarebell thay thế.

Trong album tiếp theo Taken by Force, RCA Records đã nỗ lực quảng bá cho album trên qua các cửa hàng đĩa và đài radio. RCA cũng theo sát việc thiết kế bìa album để tránh các cuộc tranh cãi bằng cách dùng một tấm hình chụp có ghi tên mỗi thành viên bên dưới hình của họ. Roth tỏ ra không thích với việc định hướng thương mại mà ban nhạc đang hướng đến. Mặc dù Roth vẫn tham gia tour diễn ở Nhật, anh đã rời Scorpions để diễn cho ban nhạc riêng của mình, Electric Sun, và album live Tokyo Tapes ra đời bằng sự kết hợp của hai ban nhạc trên. Tokyo Tapes được phát hành ở Mỹ và châu Âu sáu tháng trước khi phiên bản tiếng Nhật ra lò. Vào giữa năm 1978, sau khi tổ chức một buổi thi giữa 140 guitarist, Scorpions chiêu mộ được một guitarist mới, Matthias Jabs.